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Verfahren zum Trainieren von neuronalen Netzen 

Die Erfindung betrifft ein Verfahren zum Trainieren von neuronalen Netzen , ein 
Verfahren zur Prognose mittels neuronaler Netze und ein System zur Ermittlung 
eines Prognosewertes und dessen Fehler. 

Eine Vielzahl von Anwendungsmoglichkeiten sind aus dem Stand der Technik fiir 
neuronale Netze bekannt. Neuronale Netze werden zur datengetriebenen Modell- 
bildung zum Beispiel fur physikalische, biologische, chemische und technische 
Vorgange und Systeme eingesetzt, vgl. Babel W.: Einsatzmoglichkeiten neuronaler 
Netze in der Industrie: Mustererkennuhg anhand uberwachter Lern verfahren - mit 
Beispielen aus der Verkehrs- und Medizintechnik, Expert Verlag, Renningen- 
Malmsheim, 1997. Insbesondere gehoren zu den Einsatzgebieten neuronaler Netze 
die Prozessoptimierung, Bildverarbeitung, Mustererkennung, Robotersteuerung und 
die Medizintechnik. 

Bevor ein neuronales Netz zu Prognose- oder Optimierungszwecken eingesetzt 
werden kann, muss es trairiiert werden. Dabei werden tiblicherweise die Gewichte 
der Neuronen durch ein iteratives Verfahren anhand von Trainingsdaten angepasst, 
vgl. Barmann F.: Prozessmodellierung: Modellierung von Kontianlagen mit 
neuronalen Netzen, Internetseite NN-Tool, www.baermann.de und Barmann F.: 
Neuronale Netze. Skriptum zur Vorlesung. FH-Gelsenkirchen, Fachbereich Physi- 
kalische Technik, Fachgebiet Neuroinformatik, 1998. 

Aus der DE 195 31 967 ist ein Verfahren zum Training eines neuronalen Netzes mit 
dem nichtdeterministischen Verhalten eines technischen Systems bekannt. Das 
neuronale Netz wird dabei so in einen Regelkreis eingebunden, dass das neuronale 
Netz als Ausgangsgrofie eine StellgroBe an das technische System abgibt und das 
technische System aus der von dem neuronalen Netz zugefuhrten StellgroBe eine 
RegelgroBe erzeugt, die dem neuronalen Netz als EingangsgroBe zugefiihrt wird. Die 
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StellgroBe wird mit einem Rauschen von bekannter Rauschverteilung iiberlagert, 
bevor sie dem technischen System zugefuhrt wird. 

Weitere Verfahren zum Trainieren neuronaler Netze sind bekannt aus DE 692 28 412 
T2undDE 198 38 654Cl. 

Ein Verfahren zur Schatzung des Prognosefehlers ist bekannt aus EP 0 762 245 B 1 . 
Hier werden mehrere Neuronale Netze mit unterschiedlichen Trainingsparametern 
(z.B. unterschiedlicher Initialisierung) mit den Originaldaten trainiert. Der Prognose- 
Fehler ergibt sich aus Vergleich der Abweichungen der prognostizierten GroBen. 
Nachteilig bei diesem Verfahren ist, dass Informationen iiber die Messgenauigkeit 
der zum Training verwendeten Messdaten in die Schatzung des Prognosefehler nicht 
einfliefien. 

Ferner ist aus dem Stand der Technik ein Verfahren zur Abschatzung der Vertrauens- 
wiirdigkeit der von einem neuronalen Netz abgegebenen Prognose bekannt: Pro tzel 
P.: Kindermann L., Tagscherer M., Lewandowski A. „Abschatzung der Vertrauens- 
wiirdigkeit von Neuronalen Netzprognosen bei der Prozessoptimierung", VDI 
Berichte NR. 1526, 2000. 

Der Erfindung liegt die Aufgabe zu Grunde ein verbessertes Verfahren zum 
Trainieren von neuronalen Netzen, ein Verfahren zur Prognose mittels neuronaler 
Netze sowie ein System zur Ermittlung yon Prognosewerten und deren Fehler zu 
schaffen. 

Die der Erfindung zu Grunde liegende Aufgabe wird jeweils mit den Merkmalen der 
unabhangigen Patentanspriiche gelost. Bevorzugte Ausfuhrungsformen der Erfindung 
sind in den abhangigen Patentanspriichen angegeben. 

Die Erfindung ermoglicht es den Umstand zu beriicksichtigen, dass die Trainings- 
daten fur das Training eines neuronalen Netzes nur mit einer endlichen Genauigkeit 
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behaftet sind. Werden die Trainingsdaten zum Beispiel messtechnisch ermittelt, so 
lasst sich fur jedes Datum eine Messgenauigkeit angeben.Zur Beriicksichtigung 
dieser begrenzten Messgenauigkeit fur das Training des neuronalen Netzes, werden 
weitere Sets vom Trainingsdatensatzen erzeugt. Jedes einzelne Set von Trainings- 
5 daten entsteht aus den urspriinglichen Datensatzen durch Verrauschen der Daten im 
Rahmen der Messgenauigkeit. Zu jedem so erzeugten Trainingsdatensatz wird dann 
ein neuronales Netz trainiert. 

Werden in die auf diese Art und Weise trainierten neuronale Netze Eingangsdaten 
10 eingegeben, so erzeugt jedes dieser Netze eine Prognose. Diese Prognosen konnen 
aufgrund der verschiedenen Trainingsdaten, die durch Verrauschen gewonnen 
worden und fiir das Training der neuronalen Netze verwendet worden sind, vonein- 
ander abweichen. Vorzugsweise wird aus den verschiedenen Prognosen ein Mittel- 
wert gebildet, der eine hohere Genauigkeit und Vertrauenswurdigkeit als die Einzel- 
1 5 prognosen aufweist. 

Nach einer bevorzugten Ausfuhrungsform der Erfindung wird den Trainingsdaten 
eine gleichverteilte ZufallsgroBe mit Erwartungswert Null aufaddiert. Die Zufalls- 
groBe ist dabei so gewahlt, dass das Ergebnis der Addition des Ausgangsdatums und 
20 der ZufallsgroBe innerhalb des durch die Messgenauigkeit gegebenen Bereichs liegt 

Nach einer weiteren bevorzugten Ausfuhrungsform der Erfindung wird eine normal- 
verteilte ZufallsgroBe mit Erwartungswert Null aufaddiert. Die Varianz der Zufalls- 
groBe ist so gewahlt, dass das Ergebnis der Addition des Ausgangsdatums und der 
25 ZufallsgroBe mit einer vorgegebenen Wahrscheinlichkeit innerhalb des durch die 
Messgenauigkeit vorgegebenen Bereichs liegt. Diese vorgegebene Wahrscheinlich- 
keit betragt zum Beispiel 95 % oder dariiber. 

Nach einer weiteren bevorzugten Ausfuhrungsform der Erfindung wird aufgrund der 
30 Unterschiedlichkeit der von den neuronalen Netzen ermittelten Prognosen eine Ver- 
trauenswurdigkeit des Prognosewerts ermittelt. Sind die einzelnen Prognosen der 
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neuronalen Netze stark voneinander abweichend, so kann hieraus geschlossen 
werden, dass die neuronalen Netze in dem Bereich der aktuellen Eingangsdaten kein 
zuverlassiges Modell darstellen. Zur Beurteilung der Vertrauenswurdigkeit wird 
beispielsweise die Standardabweichung der einzelnen Prognosen berechnet. Wenn 
die Standardabweichung ein zulassiges MaB iiberschreitet, wird daraus geschluss- 
folgert, dass keine zuverlassige Prognose moglich ist. 

Von besonderem Vorteil ist, dass die vorliegende Erfindung eine Schatzung des 
Prognosefehlers und damit eine objektive Aussage iiber die Qualitat der Prognose 
ermoglicht. Nach einer bevorzugten Ausfuhrungsform wird die Standardabweichung 
zur Schatzung des Prognosefehlers genutzt. Zum Beispiel wird die Standard- 
abweichung selbst als MaB fur den Prognosefehler genutzt. Alternativ wird der 
Prognosefehler mit Hilfe einer monotonen Funktion aus der Standardabweichung 
berechnet, z.B. durch Multiplikation der Standardabweichung mit einem problem- 
abhangigen konstanten Faktor. 

Nach einer weiteren bevorzugten Ausfuhrungsform der Erfindung wird ein Signal 
abgegeben, wenn die Standardabweichung der Prognosen iiber einem vorgegebenen 
Schwellwert liegt. Dieses Signal kann zum Beispiel zu einer visuellen und / oder 
akustischen Ausgabe fur einen Benutzer fuhren. Dies ist besonders vorteilhaft, wenn 
die neuronalen Netze fur einen Regelungsprozess eingesetzt werden. 

Im weiteren werden bevorzugte Ausfuhrungsformen der Erfindung mit Bezugnahme 
auf die Zeichnungen naher erlautert. Es zeigen: 

Figur 1 ein Blockdiagram eines neuronalen Netzes, 

Figur2 eine schematische Darstellung eines Trainingsdatensatzes fur das 

neuronale Netz der Figur 1 , 
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Figur 3 ein Flussdiagram einer Ausfuhrungsform des erfmdungsgemaBen 

Verfahrens zum Training von neuronalen Netzen und zur Ermittlung 
eines Prognosewerts, 

Figur 4 ein Blockdiagram eines erfmdungsgemaBen Systems zur Ermittlung 

eines Prognosewerts. 

Die Figur 1 zeigt ein neuronales Netz 1 mit den Eingangen A, B und C und mit dem 
Ausgang D. Im allgemeinen Fall kann das neuronale Netz 1 eine beliebige Anzahl 
von Eingangen und Ausgangen aufweisen. Ferner kann das neuronale Netz auch 
rigorose Modellanteile beinhalten. In diesern Fall spricht man von einem hybriden 
neuronalen Netz. 

Zum Training des neuronalen Netzes 1 dient ein Trainingsdatensatz 2 (vgl. Figur 2). 
Der Trainingsdatensatz 2 beinhaltet eine Reihe von Messsamples, die jeweils aus 
Messwerten fur die MessgroBen A, B, C und D bestehen. Diese Messgrossen sind 
den entsprechenden Eingangen des neuronalen Netzes zugeordnet. 

Die Messwerte werden zum Beispiel aus Versuchsreihen gewonnen, die fur die 
Ermittlung von Trainingsdaten durchgefuhrt werden. Die Messgenauigkeiten der 
einzelnen MessgroBen sind in einer Tabelle 3 angegeben. Die MessgroBe A wird mit 
einer Messgenauigkeit von +/- w , die MessgroBe B mit einer Messgenauigkeit von 
+/- x , die MessgroBe C mit einer Messgenauigkeit von +/- y und die MessgroBe D 
mit einer Messgenauigkeit von +/- z ermittelt. 

Die Figur 3 veranschaulicht eine bevorzugte Ausfuhrungsform des erfmdungs- 
gemaBen Verfahrens. In dem Schritt 30 wird eine Anzahl von n Trainingsdatensatzen 
aus dem Trainingsdatensatz 2 (vgl. Figur 2) erzeugt. 

Ein weiterer Trainingsdatensatz i, wobei i zwischen 1 und n liegt, wird basierend auf 
dem Trainingsdatensatz 2 gewonnen, indem die einzelnen Messwerte der Mess- 
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groBen A 5 B, C und D fur jedes Messsample unter Beriicksichtigung der jeweiligen 
Messgenauigkeit der betreffenden MessgroBe verrauscht werden. Dieser Vorgang, 
das heiBt das Verrauschen des Trainingsdatensatzes 2 erfolgt n-fach, urn so die n 
Trainingsdatensatze zu gewinnen. 

Beispielsweise erfolgt das Verrauschen der Messwerte des Trainingsdatensatzes 2 
durch Addition einer gleichverteilten Zufallszahl. Ein verrauschter Messwert x' 
ergibt sich aus dem urspriinglich gemessenen Messwert x als : 

x' = x + Zufallszahl , 

wobei die Zufallszahl in dem Intervall 

[Untergrenze; Obergrenze] 

liegt. Dabei konnen die Untergrenze und die Obergrenze von dem urspriinglichen 
Messwert x und der Messgenauigkeit abhangen. Wurde die Messgenauigkeit 
beispielsweise als relativer Fehler zum Messwert x angegeben, so konnen die 
folgenden Grenzen gewahlt werden: 

Untergrenze = - relative Messgenauigkeit * x 
Obergrenze = relative Messgenauigkeit * x 

Im Normalfall ist die Untergrenze ein Wert kleiner als 0, wahrend die Obergrenze ein 
Wert groBer als 0 ist.. In diesem Fall liegt der verrauschte Messwert x 5 innerhalb des 
Bereichs der Messungenauigkeit. Soli zum Beispiel ein Messwert ftir die MessgroBe 
A verrauscht werden, so wird zu dem tatsachlich ermittelten Messwert der 
MessgroBe A eine ZufallsgroBe aufaddiert. 
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Diese ZufallsgroBe ist eine Zufallszahl aus dem Intervall [Untergrenze; Obergrenze], 
wobei die Untergrenze und die Obergrenze von dem Messwert x abhangen konnen 
(s.o.) oder Untergrenze und Obergrenze feste GroBen sind. 

Alternativ kann die Zufallszahl auch normalverteilt sein. In diesem Fall wird die 
Varianz der Zufallszahl so gewahlt, dass der verrauschte Messwert x' mit einer 
vorgegebenen Wahrscheinlichkeit in dem durch die Messgenauigkeit vorgegebenen 
Toleranzbereich liegt. Die vorgegebene Wahrscheinlichkeit kann zum Beispiel 
> 95 %, gewahlt werden. 

In dem Schritt 31 wird eine Anzahl von n+1 neuronalen Netzen vom Typ des 
neuronalen Netzes 1 der Figur 1 mit dem Trainingsdatensatz 2 und den so 
gewonnenen n weiteren Trainingsdatensatzen trainiert. Dadurch erhalt man n 
neuronale Netze mit denselben Eingangs- und Ausgangsparametem, die mit ver- 
rauschten Trainingsdatensatzen basierend auf demselben messtechnisch ermittelteh 
Trainingsdatensatz trainiert worden sind. 

Fur die Ermittlung eines Prognosewerts wird in dem Schritt 32 ein Eingabedatensatz 
von Parameterwerten in die Eingange A, B und C der in dem Schritt 31 trainierten 
neuronalen Netze eingegeben. In dem Schritt 33 geben die neuronalen Netze an 
deren Ausgangen jeweils einen Prognosewert aus; in dem betrachteten Beispielsfall 
liegen also n+1 Prognosewerte an den Ausgangen D vor. 

In dem Schritt 34 werden der Mittelwert und die Standardabweichung der in dem 
Schritt 33 ausgegebenen Prognosewerte berechnet. In dem Schritt 35 wird gepriift, ob 
die Standardabweichung iiber einen Schwellwert liegt. Ist dies der Fall, wird in dem 
Schritt 36 eine Warming ausgegeben. Die Ausgabe einer Warming bedeutet, dass die 
Prognose der neuronalen Netze fur den aktuellen Eingangsdatensatz nicht hin- 
reichend vertrauenswurdig ist. 
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Liegt die Standardabweichung dagegen unterhalb des Schwellwerts, so wird eine 
solche Warming nicht ausgegeben; in dem Schritt 37 erfolgt die Ausgabe des 
Mittelwerts der Prognosewerte als Ergebnis der Prognose. Zusatzlich oder alternativ 
wird die Standardabweichung als Mal3 fur den Prognosefehler ausgegeben. 

Die Figur 4 zeigt ein Blockdiagram einer Ausfuhrungsform des erfmdungsgemaBen 
Systems. Elemente der Figur 4, die Elementen der Figur 1 entsprechen, sind mit 
denselben Bezugszeichen gekennzeichnet. 

Das System beinhaltet eine Anzahl von n+1 neuronalen Netzen 1, die prinzipiell 
gleich aufgebaut sind, namlich jeweils die Eingange A, B und C und den Ausgang D 
aufweisen. 

Die Eingange A, B und C der neuronalen Netze 1 sind mit einem Eingabemodul 4 
verbunden, iiber welches ein Eingabeparametersatz, ftir den eine Prognose 
durchgefuhrt werden soil, in die neuronalen Netze 1 eingegeben wird. 

Aufgrund dieser Eingabe von Eingangsdaten gibt jedes der neuronalen Netze 1 an 
dessen Ausgang fur die MessgroBe D eine Prognose aus. Diese Prognosen werden in 
das Auswertungsmodul 5 eingegeben. Das Auswertungsmodul 5 berechnet den 
Mittelwert der verschiedenen Prognosen ftir die MessgroBe D sowie die Standard- 
abweichung der Prognosen. 

Das Auswertungsmodul 5 ist mit einer Anzeigeeinheit 6 und mit einem Komparator 
7 verbunden. Der Komparator 7 ist mit einem Schwellwertspeicher 8 verbunden. 

Das Auswertungsmodul 5 gibt den berechneten Mittelwert der Prognosen an die 
Anzeigeeinheit 6 aus, so dass der Prognosewert dort angezeigt wird. Femer gibt das 
Auswertungsmodul 5 die Standardabweichung der Prognosen an den Komparator 7 
aus. Der Komparator 7 vergleicht die Standardabweichung mit dem in dem Schwell- 
wertspeicher 8 gespeicherten Schwellwert. Liegt die Standardabweichung iiber dem 
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Schwellwert, so gibt der {Comparator 7 ein Signal ab, welches auf der Anzeigeeinheit 
6 als Warnhinweis angezeigt wird. Wenn also ein Prognosewert auf der Anzeige- 
einheit 6 zusammen mit einem Warnhinweis angezeigt wird, so bedeutet dies, dass 
die Streuung der einzelnen Prognosen der neuronalen Netze 1 relativ groB ist, so dass 
der resultierende Prognosewert als nicht hinreichend yertrauenswiirdig betrachtet 
wird. 

Uber die Anzeige 6 kann ferner die Standardabweichung als MaB fur den Prognose- 
fehler fur einen Benutzer ausgegeben werden. 
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Patentanspriiche 

1 . Verfahren zum Trainieren einer Anzahl von neuronalen Netzen mit folgenden 
Schritten: 

Ermittlung eines ersten Trainingsdatensatzes, wobei die Trainings- 
daten eine bestimmte Genauigkeit aufweisen, 

Erzeugung einer Anzahl von zweiten Trainingsdatensatzen durch 
Verrauschen des ersten Trainingsdatensatzes mit einer ZufallsgroBe, 

Trainieren jedes der neuronalen Netze mit einem der 
Trainingsdatensatze. 

2. Verfahren nach Anspruch 1, wobei jedem Datum der Trainingsdaten eine 
Genauigkeit zugeordnet ist. r 

3. Verfahren nach Anspruch 1 oder 2, wobei die Trainingsdaten MessgroBen 
beinhalten und zu jeder MessgroBe eine Messgenauigkeit angegeben wird. 

4. Verfahren nach einem der vorhergehenden Anspriiche 1 5 2 oder 3, wobei es 
sich bei der ZufallsgroBe um eine gleichverteilte ZufallsgroBe handelt. 

5. Verfahren nach Anspruch 4, wobei die ZufallsgroBe den Erwartungswert Null 
hat und das Ergebnis der Addition der ZufallsgroBe zu dem Trainingsdatum 
innerhalb des Genauigkeitsbereichs des Trainingsdatums liegt. 

6. Verfahren nach Anspruch 1, 2 oder 3, wobei es sich bei der ZufallsgroBe um 
eine normalverteilte ZufallsgroBe handelt. 
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7. „ Verfahren nach Anspruch 6, wobei die ZufallsgroBe den Erwartungswert Null 

hat und das Ergebnis der Addition der ZufallsgroBe zu dem jeweiligen Datum 
mit einer vorgegebenen Wahrscheinlichkeit innerhalb des Genauigkeits- 
bereichs des Trainingsdatums liegt. 

5 

8. Verfahren nach Anspruch 7, wobei die vorgegebene Wahrscheinlichkeit 
groBer oder gleich 95%, vorzugsweise 99% betragt. 

9. Verfahren nach einem der vorhergehenden Anspriiche 1 bis 8, wobei die 
10 ZufallsgroBe aus einem fest vorgegebenen Intervall entnommen wird. 

10. Verfahren nach einem der vorhergehenden Anspriiche 1 bis 8, wobei die 
ZufallsgroBe aus einem von der Genauigkeit abhangigen Intervall entnommen 
wird. 



15 



20 



1 1 . Verfahren zur Prognose mittels neuronaler Netze mit folgenden Schritten: 

Trainieren der neuronalen Netze nach einem Verfahren nach einem 
der vorhergehenden Anspriiche 1 bis 8, 

Ermittlung eines Prognosewerts basierend auf einer Auswertung der 
von den neuronalen Netzen abgegebenen Prognosen. 



12. Verfahren nach Anspruch 11, wobei der Prognosewert durch Mittelung der 
25 / von den neuronalen Netzen abgegebenen Prognosen berechnet wird. 

13. Verfahren nach Anspruch 1 1 oder 12, wobei die Standardabweichung der von 
den neuronalen Netzen abgegebenen Prognosen als MaB fur die Ver- 
trauenswiirdigkeit des Prognosewerts ermittelt wird. 

30 
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14. Verfahren nach Anspruch 13, wobei der Prognosewert mit einem Schwellwert 
verglichen wird, und ein Signal abgegeben wird, wenn die Standard- 
abweichung oberhalb des Schwellwerts liegt. 

15. Verfahren nach einem der vorhergehenden Anspriiche 11 bis 14, wobei die 
Standardabweichung der von den neuronalen Netzen abgegebenen Prognosen 
als Mafi fur den Prognosefehler verwendet wird. 

16. Computersystem zur Ermittlung von zumindest einem Prognosewert mit 

einer Anzahl von neuronalen Netzen (1), von denen zumindest einige 
mittels verrauschten Trainingsdatensatzen trainiert worden sind, 

Eingabemitteln (4) zur Eingabe von Eingabedaten in die neuronalen 
Netze, 

Auswertemitteln (5) zur Auswertung der von den neuronalen Netzen 
ausgegebenen Prognosen zur Ermittlung eines Prognosewerts. 

17. Computersystem nach Anspruch 16, bei dem die Auswertemittel zur 
Berechnung des Mittelwerts der Prognosen ausgebildet sind. 

18. Computersystem nach Anspruch 16 oder 17, bei dem die Auswertemittel zur 
Berechnung der Standardabweichung der Prognosen als Mafi fur die 
Vertrauenswiirdigkeit des Prognosewerts ausgebildet sind. 

19. Computersystem nach Anspruch 18, mit Mitteln (7) zum Vergleich der 
Standardabweichung mit einem vorgegebenen Schwellwert und zur, Abgabe 
eines Signals, wenn die Standardabweichung oberhalb des Schwellwerts liegt. 
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20. Computersystem nach einem der vorhergehenden Anspriiche 16 bis 19, mit 
Mitteln zur Ausgabe eines Prognosefehlers, wobei der Prognosefehler 
basierend auf der Standardabweichung ermittelt wird. 



Le A 36 678 



- 15 - 

Verfahren zum Trainieren von neuronalen Netzen 

Zusammenfassung 

Die Erfindung betrifft ein System und em Verfahren zum Trainieren einer Anzahl 
von neuronalen Netzen mit folgenden Schritten: 

Ermittlung eines ersten Trainingsdatensatzes, wobei die Trainingsdaten eine 
bestimmte Genauigkeit aufweisen, 

Erzeugung einer Anzahl von zweiten Trainingsdatensatzen durch 
Verrauschen des ersten Trainingsdatensatzes mit einer ZufallsgroBe, wobei 
die Zufallsgrofle jeweils yon der Genauigkeit abhangt, 

Trainierung jedes der neuronalen Netze mit einem der Trainingsdatensatze. 

Mittels eines solchen Systems kann eine Prognose und eine Schatzung des 
Prognosefehlers durchgeftihrt werden. 



(Figur 3) 
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Erzeugung von n Tiaintngsdaterisatzen durch Verrauschen des gemessenen 
TTainingsdatensaizes mit Zufallsgrosse unter Berucksichtigung der 
Messgenauigkeiten 
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Trainieren von n-H neuronalen Netzen mit dem gemessenen Trainingsdatensatz 
und den verrauschten Trauiingsdatensatzen 
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Erzeugung von n Trainingsdatensatzen durch Verrauschen des gemessenen 
Trainingsdatensatzes mit Zufallsgrosse unter Berucksichtigung der 
Messgenauigkeiten 
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Trainieren von n+1 neuronalen Netzen mit dem gemessenen Trainingsdatensatz 
und den verrauschten Trainingsdatensatzen 


s3\ 


} 


r 




Eingabe von Parametern in die n+1 neuronalen Netze 
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Ausgabe von n+1 Prognose werten 
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